Schwerpunkt "Künstliche Intelligenz" - Die automatisierte Gesellschaft

28. März 2020, 02:00

Der AMS-Algorithmus teilt Arbeitslose künftig anhand von Daten wie etwa Alter, Geschlecht, Ausbildung und Erwerbskarriere in drei Gruppen ein: in Jobsuchende mit hohen, mittleren und schlechten Chancen am Arbeitsmarkt, die jeweils unterschiedliche Förderungen bekommen.

Frauen würden diskriminiert und automatisch schlechter eingestuft werden, lautete der Vorwurf einiger Wissenschaftlerinnen und Wissenschaftler.

"Das Geschlecht "Frau" führt nicht automatisch zu einem Minus bei der Prognose".

Der Chef des AMS, Johannes Kopf, widerspricht hier vehement: „Wir haben zur besseren Transparenz einen Algorithmus im Detail erklärt. Und in diesem Fall ging es um Frauen und kurzfristige Arbeitsmarktchancen in der höchsten Gruppe. In diesem Segment hat das Geschlecht „Frau“ zu einem negativeren Ergebnis geführt. In der tatsächlichen Umsetzung führt das aber dazu, dass Frauen weniger in der Gruppe mit den hohen Chancen sind und öfter in der mittleren Gruppe landen, wo wir Förderungen in vollem Umfang haben“.

Diese Gruppe werde künftig mehr und früher gefördert, dadurch würden Frauen mehr Aufmerksamkeit bekommen. Zum Beispiel bei längerer Arbeitslosigkeit hätten Frauen höhere Chancen am Arbeitsmarkt als Männer – vermutlich, weil Unternehmen daran gewöhnt sind, dass Frauen durch Kinder mehr pausieren. „Die Logik, dass das Arbeitsmarktservice Menschen, die von Diskriminierung am Arbeitsmarkt betroffen sind, stärker fördert, ist eine die im AMS systemimmanent ist“, sagt Johannes Kopf, „damit machen wir Ungleichheiten in diesem System sichtbarer.“

"Die AMS-Mitarbeiterinnen und Mitarbeiter sollen die Entscheidungen der Systeme durchaus in Frage stellen."

Einen Grund für die Diskussion um den Algorithmus sieht Kopf auch in der Komplexität des Themas. Das AMS setze auch keine Künstliche Intelligenz ein, sondern komplexe mathematische Modelle, betont Kopf. Das AMS vergleicht, vereinfacht gesagt, die Daten eines Arbeitssuchenden mit Personen mit ähnlichen Merkmalen und wertet aus, wie es diesen in der Vergangenheit am Arbeitsmarkt ergangen ist. Daraus errechnen Algorithmen dann eine Prognose.

Und aufgrund dieser Prognose plus der Einschätzung der AMS-Mitarbeiterinnen und Mitarbeiter erfolgt dann die Beratung, betont Johannes Kopf. Die Mitarbeiterinnen und Mitarbeiter würden noch zusätzliche Faktoren berücksichtigen, „zum Beispiel die Motivation der Person, eine regionale kurzfristige Veränderung des Arbeitsmarktes oder ein besonderes Interesse des Jobsuchenden für einen Bereich, oder wenn jemand zum Beispiel gerade eine Aufnahmeprüfung für eine Ausbildung macht.“

Evaluierung des AMS Algorithmus

Forscherinnen und Forscher der österreichischen Akademie der Wissenschaften und der TU Wien haben den Algorithmus analysiert. Sie äußern Bedenken und kritisieren in ihrem Papier „Algorithmic Profiling of Job Seekers in Austria: How Austerity Politics Are Made Effective“ unter anderem mangelnde Transparenz. Johannes Kopf weist hingegen darauf hin, dass das am Freitag veröffentlichte Papier bereits im Oktober 2019 eingereicht wurde, bevor es Gespräche des AMS mit Forscherinnen gegeben habe und die Übergabe der Dokumentation erfolgt sei.

Aktuell passieren noch einige Anpassungen rund um den Algorithmus. Speziell geschulte Mitarbeiter in den Landesorganisationen und regionalen Geschäftsstellen geben Rückmeldungen zum AMS-Algorithmus, wenn etwas auffällig ist oder sie etwas nicht verstehen. „Wir konnten uns zum Beispiel nicht gleich erklären, wieso längere Arbeitslosigkeit bei Migranten zu verbesserten Jobchancen führt“, erzählt Johannes Kopf, „die Deutschkenntnisse der Migranten wurden mit der Zeit immer besser und dann haben sie eine Stelle bekommen.“ Diese Daten zu Sprach-Kenntnissen bzw. Zertifikaten wurden bislang nicht miteinberechnet, sollen künftig aber die Trefferquote erhöhen.

Förderprogramme statt Algorithmus

In einigen Bereichen werde der AMS-Algorithmus durch spezielle Förderprogramme ausgehebelt, etwa bei Menschen mit Behinderung oder Jobsuchenden, die jünger als 25 Jahre sind. Die AMS-Mitarbeiterinnen und Mitarbeiter sollen die Entscheidungen der Systeme durchaus in Frage stellen, sagt Johannes Kopf. „Die Beratungs- und Betreuungseinrichtungen bekommen den Auftrag von uns, dass sie etwa 25% der Jobsuchenden mit einer Hochstufungsempfehlung zu uns zurückgeben. Und eben berücksichtigen, wenn der Jobsuchende gerade eine Aufnahmeprüfung für technische Ausbildungen absolviert, wenn es konkrete Veränderungen am Arbeitsmarkt und einen Mangel an Fachkräften in einem spezifischen Bereich gibt.“

Die Prognose des AMS-Algorithmus sei eine Zusatzinformation für die Beraterinnen und Berater, betont AMS-Chef Johannes Kopf, im AMS treffe keine Maschine eine Entscheidung.

Automatisierte Entscheidungssysteme in Europa

Auch außerhalb von Österreich werden automatisierte Entscheidungssysteme in der öffentlichen Verwaltung bereits eingesetzt. Die Initiative AlgorithmWatch hat das in 12 europäischen Ländern untersucht: In Italien etwa werden Gesundheitsbehandlungen von automatisierten Entscheidungssystemen maßgeblich beeinflusst, in Finnland wurden Mails von Arbeitssuchenden bis vor Kurzem automatisch ausgewertet. Und in Kopenhagen nutzt die Jugendwohlfahrt solche Systeme.

In Dänemark wurde ein System vorgeschlagen, dass dabei helfen soll, herauszufinden, ob Kinder in Gefahr sind, vernachlässigt zu werden, sagt Mathias Spielkamp von der NGO AlgorithmWatch. „Das sollte anhand von einer Reihe von Kriterien passieren, die quasi als Werte in das System eingespeist werden. Die Frage ist natürlich: Kann man anhand von so einer Überwachung darauf schließen, ob Kinder gefährdet sind, und ist das eine angemessene Art und Weise, das herauszufinden?“ Die Dänen waren damit jedenfalls nicht einverstanden und das System musste wieder zurückgezogen werden.

"Der Staat dürfe sich nicht hinter komplexen und undurchsichtigen Systemen aus dem Bereich der Künstlichen Intelligenz verstecken“.

In den Niederlanden hat vor Kurzem ein Gericht einer Behörde den Einsatz eines Algorithmus verboten. Das Betrugserkennungssystem System Risico Indicatie (SyRI) war seit 2014 im Einsatz, um potentielle Sozialhilfebetrüger aufzuspüren. Identifizierte es Menschen mit vermeintlich hohem Risiko, wurde ein Ermittlungsverfahren gegen sie eingeleitet. Voriges Jahr hatten Menschenrechtsorganisationen eine Klage gegen SyRI eingereicht, weil es arme Menschen diskriminiere. Nun haben sie Recht bekommen.

SyRi war eine Blackbox, kritisierte Tijmen Wisman, Jusprofessor an der Freien Universität Amsterdam, wie genau das System genau funktioniert, hat das niederländische Sozialministerium bis heute nicht offengelegt. Bekannt ist nur so viel: SyRI wurde mit einer Menge teils sehr sensibler Daten gefüttert, die von unterschiedlichen Behörden kamen: bezogene Sozialhilfe, Steueraufkommen, aber auch Daten über Strom oder Wasserverbrauch. Daraus wurden Risikoindikatoren abgeleitet, die potentielle Betrüger enttarnen sollten. „Der Staat dürfe sich nicht hinter komplexen und undurchsichtigen Systemen aus dem Bereich der Künstlichen Intelligenz verstecken“, so das Urteil. Das Gericht verurteilte in erster Linie die mangelnde Transparenz und die dadurch fehlende Möglichkeit ein algorithmisches Entscheidungssystem zu überprüfen, sowie die Entscheidung zu hinterfragen. Tijmen Wisman hatte als Vorsitzender einer niederländischen Datenschutz-NGO gegen den Algorithmus geklagt. Er fordert: „Regierungen müssen Behörden so gestalten, dass sie ihre enorme Macht nicht missbrauchen können und dass Bürgerinnen und Bürger sie zur Rechenschaft ziehen können.“

In den Niederlanden ist der spitzelnde Computer erst einmal arbeitslos. Da aber immer mehr Behörden in Europa algorithmische Entscheidungssysteme einsetzen, dürfte das nicht der letzte derartige Gerichtsfall sein.

"Bis jetzt ist es oft unmöglich herauszufinden, wer Systeme einsetzt, zu welchem Zweck und wer sie entwickelt.“

Wie soll man also in der öffentlichen Verwaltung mit solchen Systemen umgehen? Vielfach weiß die Beamtenschaft ja gar nicht, dass ein Algorithmus Entscheidungen für sie trifft. Matthias Spielkamp, Leiter von AlgorithmWatch, fordert ein Register von solchen automatisierten Entscheidungssystemen, wenn sie in der öffentlichen Hand verwendet werden: „Ein Register als Grundlage dafür, ob wir damit einverstanden sind. Bis jetzt ist es oft unmöglich herauszufinden, wer Systeme einsetzt, zu welchem Zweck und wer sie entwickelt.“

Die Gesellschaft soll so auch kritische Fragen stellen können, etwa ob sie ein System, wie jenes in Dänemark, überhaupt will, sagt Mathias Spielkamp: „Es gibt Systeme, die greifen so tief in die Rechte von Menschen ein, dass wir der Ansicht sind, dass man ein extremes Maß an Transparenz bis hin zur Offenlegung von Codes fordern kann.“ Noch viel wichtiger sei zu wissen, welches Modell hinter einem automatischen Entscheidungssystem steckt und mit welchen Daten es gefüttert wurde.

Service

AlgorithmWatch
Studie „Automatische Gesellschaft“
Studie “Algorithmic Profiling of Job Seekers in Austria: How Austerity Politics Are Made Effective”

Gestaltung

• Julia Gindl
• Franz Zeller